Ông sinh ngày 16 tháng 1 năm 1916 tại Hà Nội trong một gia đình trung lưu. Là học sinh trường Albert Sarraut tại Hà Nội. Năm 1937, ông tốt nghiệp Trung học Phổ thông chương trình Pháp với văn bằng Tú tài toàn phần (Part II). Sau đó, theo học Đại học Luật tại Hà Nội từ năm 1937 đến năm 1939.

Quân đội Viễn chinh Pháp

Cuối năm 1939, ông nhập ngũ vào Quân đội Pháp, theo học khóa đầu tiên tại trường Võ Bị Sơn Tây. Một năm sau tốt nghiệp ra trường với cấp bậc Chuẩn úy Bộ binh. Năm 1942, ông được thăng cấp Thiếu úy và được cử làm Trung đội trưởng thuộc Trung đoàn 4 Bộ binh Bắc Kỳ.

Năm 1945, ông được thăng cấp Trung uý, chuyển sang làm Trung đội trưởng thuộc Trung đoàn 19 Bộ binh Viễn chinh thuộc địa. Ngày 9 tháng 3 năm 1945, Nhật đảo chính Pháp tại Đông Dương, ông vượt biển, đào thoát sang Trung Quốc, gia nhập Lực lượng lưu vong của tướng Pháp Marcel Alessandri. Năm 1946, ông được bổ nhiệm làm Chỉ huy trưởng Liên đội Biệt kích Trinh sát hỗn hợp Việt-Pháp, trú đóng tại Nam Trung Quốc.

Quân đội Liên hiệp Pháp

Năm 1947, sau khi Pháp tái chiếm Đông Dương, ông trở về Việt Nam và được thăng cấp Đại úy, giữ chức vụ Đại đội trưởng Đại đội 4 Biệt kích thuộc Tiểu đoàn Lưu động Đông Dương đóng tại vùng Việt Bắc. Sau đó, toàn Đại đội đi thụ huấn khóa học Nhảy dù và được đổi tên là Đại đội Nhảy dù Bắc Việt. Đầu năm 1949, ôn được chuyển qua làm Đại đội trưởng Đại đội 3 Nhảy dù Đông Dương, thuộc Tiểu đoàn 3 Biệt kích Nhảy dù, ông đã tham gia nhiều chiến dịch tại miền Bắc Việt Nam.

Quân đội Quốc gia Việt Nam

Cuối năm 1950, ông được thăng cấp Thiếu tá và được cử đi du học khóa Tham mưu cao cấp tại Paris, Pháp. Sáu tháng sau mãn khóa về nước ông được thăng cấp Trung tá. Đầu năm 1952, ông được Bộ Quốc phòng Pháp chuyển sang Quân đội Quốc gia Việt Nam. Sau khi sát nhập, tháng 2 cùng năm ông được thăng cấp Đại tá và được bổ nhiệm làm Chánh Võ phòng Quốc Trưởng Bảo Đại thay thế Thiếu tướng Nguyễn Văn Hinh được Quốc trưởng chỉ định lên làm Tổng tham mưu trưởng Quân đội Quốc gia.

Thượng tuần tháng 3 năm 1954, ông được cử giữ chức vụ Tư lệnh Vùng Duyên Hải kiêm Phụ tá Quân sự Thủ hiến Trung Việt. Sau ngày ký Hiệp định Genève 20 tháng 7 cùng năm, ông được thăng cấp Thiếu tướng, tái bổ nhiệm chức vụ Tham mưu trưởng Võ phòng Quốc trưởng Bảo Đại.

Tổng tham mưu trưởng trên giấy

Ngày 19 tháng 11 năm 1954, ông được Quốc trưởng Bảo Đại bổ nhiệm làm quyền Tổng Tham mưu trưởng thay thế Trung tướng Nguyễn Văn Hinh được Quốc trưởng triệu hồi sang Pháp trình diện. Tuy nhiên đến ngày 1 tháng 12 cuối năm, Thủ tướng Ngô Đình Diệm lại ký Nghị định bổ nhiệm tân Thiếu tướng Lê Văn Tỵ làm Tổng tham mưu trưởng, dù không được Quốc trưởng đồng ý phê duyệt.

Mặc dù vậy, dưới áp lực của các sĩ quan cao cấp ủng hộ Thủ tướng Diệm, ông buộc phải bàn giao chức vụ Tổng tham mưu trưởng cho tướng Tỵ, Để xoa dịu, Thủ tướng Diệm đã bổ nhiệm ông giữ chức Tổng Thanh tra Quân đội kiêm Tham mưu trưởng Võ phòng cho Quốc trưởng Bảo Đại. Tuy vậy, đến ngày 28 tháng 4 năm 1955, Quốc trưởng Bảo Đại từ Cannes gửi điện văn cho Thủ tướng Diệm biết là đã đề cử Tướng Vỹ làm Tổng Tham mưu trưởng. Ngày 30 tháng 4 năm 1955, ông cùng Đại tá Nguyễn Tuyên, Chỉ huy trưởng Ngự lâm quân Võ phòng Quốc trưởng, từ Đà Lạt vào Sài Gòn để yêu cầu tướng Tỵ phải bàn giao lại chức vụ Tổng Tham mưu trưởng. Trong buổi họp tại Dinh Độc Lập chiều cùng ngày, ông đã bị nhà văn Nhị Lang rút súng đe dọa.[3]

Sau biến cố này, ông nhanh chóng trở về Đà Lạt, từ đó bay sang Campuchia rồi sang Pháp sống lưu vong. Tại Sài Gòn, ngày 12 tháng 5 năm 1955, Thủ tướng Diệm bãi chức Tổng Thanh tra Quân đội của ông và sáp nhập Lực lượng Ngự lâm quân vào Quân đội Quốc gia Việt Nam. Ngày 21 tháng 5 năm 1955, ông cùng Đại tá Nguyễn Tuyên bị đưa ra Tòa án Quân sự về tội phá hoại an ninh và phản bội Quốc gia nhưng trước đó, hai ông đã sang Pháp.

Trở lại Quân đội

Mãi đến sau cuộc đảo chính 1963 lật đổ tổng thống Ngô Đình Diệm, ông cùng một số sĩ quan lưu vong tại Pháp mới trở về nước. Tuy nhiên, không lâu sau đó, tướng Nguyễn Khánh thực hiện cuộc Chỉnh lý, ông cùng các tướng Trần Văn Đôn, Tôn Thất Đính, Lê Văn Kim và Mai Hữu Xuân bị giam lỏng tại Đà Lạt một thời gian với lý do có xu hướng trung lập. Sau khi được trả tự do, ông được tái ngũ và được bổ nhiệm làm Đổng lý Văn phòng Tổng Tư lệnh (tương đương chức vụ Chánh văn phòng Bộ Tổng tham mưu cũ) vào tháng 10 năm 1964 do Trung tướng Nguyễn Khánh làm Tổng Tư lệnh.

Trung tuần tháng 2 năm 1965, sau khi tướng Nguyễn Khánh dưới áp lực của các tướng trẻ buộc phải lưu vong, Bộ Tổng Tư lệnh chuyển lại thành Bộ Tổng tham mưu, ông được bổ nhiệm chức vụ Chỉ huy trưởng Trung tâm Huấn luyện Quốc gia Quang Trung thay thế Trung tá Vũ Ngọc Tuấn[4].

Tháng 6 năm 1966, ông được chuyển sang giữ chức Tổng cục trưởng Tổng cục Quân huấn thay thế Trung tướng Tôn Thất Đính sau khi bàn giao Trung tâm Huấn luyện Quang Trung lại cho Đại tá Lê Ngọc Triển. Tháng 11 cùng năm, bàn giao Tổng cục Quân huấn lại cho Thiếu tướng Lữ Lan, ông được chỉ định giữ chức vụ Tham mưu trưởng Bộ Tổng Tham mưu thay thế Thiếu tướng Bùi Hữu Nhơn[5]

Tháng 10 năm 1967, ông được thăng cấp Trung tướng. Ngày 24 tháng 11 cùng năm, bàn giao chức vụ Tham mưu trưởng lại cho Thiếu tướng Trần Thanh Phong. Cùng ngày, ông tham chính vào Nội các Chính phủ, được cử giữ chức vụ Tổng trưởng Quốc phòng (trước đó do Đại tướng Cao Văn Viên Tổng tham mưu trưởng Bộ Tổng tham mưu kiêm nhiệm), lần lượt qua các đời các Thủ tướng Nguyễn Văn Lộc (1967), Trần Văn Hương (1968) và Trần Thiện Khiêm (1969).

Tháng 8 năm 1972, ông xin từ chức Tổng trưởng Quốc phòng và chức vụ này được Đại tướng Trần Thiện Khiêm Thủ tướng Chính phủ kiêm nhiệm. Tháng 3 năm 1973, ông được giải ngũ với lý do đã phục vụ Quân đội trên 20 năm, cùng lượt với các tướng Nguyễn Văn Là, Trần Ngọc Tám, Ngô Du, Linh Quang Viên...